AI Papers Daily

#adversarial robustness

3 篇

Formal Mechanisms for Market Stability in Self-Interested Agent Societies: A Marketplace Simulation Study

自利智能体社会中的市场稳定形式化机制：市场模拟研究

🧭 多智能体博弈 · 市场机制设计

DSO National Laboratories · National University of Singapore

在 LLM 驱动的市场仿真中，调解机制能有效抵御对抗攻击，维持多智能体合作稳定

📌 工作参考价值（4 点）

• 电商平台存在大量自利卖家与买家 agent（如自动调价、自动选品），借鉴调解（Mediation）机制设计平台的治理层，在出现恶意行为时维持交易生态稳定。
• 构造对抗性红队测试流程可用于压力测试推荐系统或 Agent 编排中的协调策略，用 LLM 驱动的攻击者迭代优化攻击 Prompt，发现系统软肋。
• 将生产互补性与社交网络约束引入 Agent 市场模拟，可建模推荐生态中的双边匹配与信息传播，用于模拟 UGC 社区、直播带货等场景的协同演化。
• 面临不可完全消除恶意行为时，系统设计应追求“可弯不可折”（bent but not broken）的弹性目标：允许局部效用下降，但保持整体不崩溃的恢复能力。

Other | 2026-07-09 | cs.AI | score 7/10

multi-agentmarket stabilitymediationadversarial robustnessLLM agentssocial dilemma

LLM agent safety, multi-turn red-teaming, jailbreak benchmarks, adversarial robustness, safety-critical systems

NRT-Bench：安全关键控制室中LLM操作员代理的多轮红队测试基准

🧭 Agent安全 · 多轮红队测试

AIM Intelligence · KAERI

构建多轮红队基准，揭示LLM代理在自适应攻击下高度脆弱，且模型间漏洞互不重叠。

📌 工作参考价值（4 点）

• 对推荐/对话Agent做安全评估时，可借鉴多轮自适应攻击模拟，而非单次注入，更贴近真实用户恶意交互。
• 防御措施可能互相抵消甚至反效果：在客服Agent中叠加安全模块前，务必针对具体模型做A/B测试，不能通用假设有效。
• 客观危害指标（如业务指标下降、用户流失）比LLM-Judge文本判断更可靠，可用于推荐系统的安全离线评估。
• 多个模型漏洞几乎互斥，提示在Agent链中组合不同LLM可能提升鲁棒性，但需避免单点被突破。

Agent | 2026-06-18 | cs.AI | score 6/10

LLM agent safetymulti-turn red-teamingjailbreak benchmarksadversarial robustnesssafety-critical systems

Measuring Epistemic Resilience of LLMs Under Misleading Medical Context

测量 LLM 在误导性医学情境下的认知韧性

🧭 LLM 医疗评测 · 误导性攻击韧性

University of Oxford · University of Washington · University College London · University of Waterloo

当注入误导性上下文时，LLM 放弃原正确回答，准确率从 71.1% 暴跌至 38.0%

📌 工作参考价值（4 点）

• 在电商 / Agent 场景可借鉴「误导注入」评测思路：构造用户提供矛盾或虚假先验知识的对抗性测试集，检验 Agent 是否坚持正确业务规则。
• 重点关注权威性虚假信息的影响：如假官方文件、规则性伪造等，这类注入对模型误导最强，在推荐解释或政策咨询 Agent 中要防御类似攻击。
• 评估代理能力（agentic capability）时，可引入误导性上下文观察模型是否盲目跟随，作为鲁棒性指标，类似本研究的“exception‑poisoning”测试。
• 基准设计启发：将原有正确回答的问题作为种子，再注入不同类型误导，可低成本构建大规模针对性评测，评估模型知识保持力。

Eval | 2026-06-09 | HF Daily | score 7/10

epistemic resiliencemisleading contextmedical LLM evaluationadversarial robustnessbenchmark